OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
OmniVChat：原生音视频对话的合成、基准与训练
🧭 多模态LLM原生音视频对话训练与评估
The Chinese University of Hong Kong · Alibaba Token Hub, Alibaba Group · Shanghai Jiao Tong University · Shanghai Innovation Institute · Zhejiang University
提出多智能体数据引擎合成音视频对话，构建基准并用多目标RL奖励训练Qwen3-Omni
📌 工作参考价值（4 点）
- 多智能体合成音视频对话数据：电商直播客服、数字人导购可批量生成带场景、表情、物体的对话样本，降低人工采集成本，覆盖长尾场景。
- 原生音频视频输入省去ASR/字幕：实时交互Agent（直播问答、语音购物助手）直接输入多模态流，降低工程链路延迟和计算开销，保留情感/环境上下文。
- RL奖励联合优化正确性、效率与风格：对话式推荐/客服可借鉴多目标reward设计，避免只优化准确率导致回复冗长或延迟高；效率与风格项可按业务KPI调整。
- 合成数据训练+人类录制集验证迁移：离线用合成基准快速迭代，再抽检真实用户数据验证，可作为推荐/对话系统上线前的评估流程。